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Аннотация 

Введение. 2020-е годы ознаменовались появлением нового поколения компьютерных тренажеров с 
применением технологии дополненной реальности. Одно из преимуществ данной технологии — возможность 
безопасного моделирования опасных ситуаций в реальном мире. Необходимым условием использования этого 
преимущества является обеспечение визуальной когерентности сцен дополненной реальности: виртуальные 
объекты должны быть неотличимы от реальных. Все мировые ГТ-лидеры рассматривают дополненную 
реальность как следующую волну радикальных изменений в цифровой среде, поэтому визуальная 
когерентность становится ключевым вопросом для будущего ГТ, а в аэрокосмических приложениях визуальная 
когерентность уже приобрела практическое значение. Примером может служить разработка корпорацией 
Боинг пилотского тренажера с дополненной реальностью (2022). Визуальная когерентность — сложная 
комплексная проблема, одним из аспектов которой является обеспечение корректной колористической 
тонировки виртуальных объектов в сцене дополненной реальности. Цель работы — разработка нового 
метода такой тонировки. 

Материалы и методы. В разработанном методе (названном спектральной трансплантацией) используются 
двумерные спектральные преобразования изображений. 

Результаты исследования. Предложена технология спектральной трансплантации, обеспечивающая прямую 
передачу характеристик цвета, яркости и контраста от реального фона к виртуальным объектам. Разработан 
алгоритм автоматического выбора оптимального вида спектрального преобразования. 

Обсуждение и заключение. Будучи полностью автоматическим процессом без регистрации условий 
освещенности, спектральная трансплантация решает ряд сложных проблем визуальной когерентности. 
Спектральная трансплантация может стать ценным дополнением к другим методам обеспечения визуальной 
когерентности. 
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Введение. Современные тренажеры фактически по умолчанию подразумевают использование виртуальной 
реальности (ушиа| геашу — УВ). Преимущества такого подхода хорошо известны, поэтому не будем на них 
останавливаться, но отметим ряд существенных и, что важнее, непреодолимых недостатков, обусловленных 
самой природой технологии виртуальной реальности. УК — это цифровая, дискретная технология, в то время 
как реальный мир непрерывен. Поэтому моделирование реального мира в УВ неизбежно связано с ошибками, 
что снижает эффективность обучения. Однако для обучающих систем еще более серьезным негативным 
аспектом является то, что решения человека во многом основаны на подсознательном учете множества деталей 
реальной картины мира. Этот процесс принципиально невозможно воспроизвести с помощью чисто 
компьютерных технологий (например, УК) по двум причинам: мы до сих пор не знаем (и вряд ли когда-либо 
узнаем) каков механизм работы человеческого мозга, последние спекуляции на тему искусственного 
интеллекта только подтверждают это; детали реального мира, учитываемые при принятии решений, 
практически бесконечны по количеству, возникают случайным образом и имеют самую разную природу 
(визуальную, акустическую, тактильную...). 

Появление в 2020-х годах обучающих систем дополненной реальности (аистеше4 геашу — АК) снижает 
остроту этой проблемной ситуации. Примерами могут служить разработка компанией Воешех пилотского 
тренажера дополненной реальности на основе известного проекта Кб АТАК$, которая началась осенью 
2022 года, а также параллельно стартовавший похожий проект британской ВАЕ Зу\етз или тренажер 
авиадиспетчеров из данной статьи. Все информационное богатство окружающего нас мира в АВ представлено в 
явном виде и не требует моделирования. Но для реализации преимуществ АК, связанных с параллельным 
присутствием реальных и виртуальных объектов в сценах, необходимо решить проблему визуальной 
когерентности (у15йа1 собегепсе — УС): виртуальные объекты должны быть неотличимы от реальных. В данной 
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статье предлагается метод решения проблемы визуальной когерентности в рамках проекта по разработке 
системы обучения авиадиспетчеров. 

АК является производной формой УК. АВ сохраняет все возможности УК, но, помимо этого, как гибридная 
технология обладает значительными преимуществами, вытекающими из параллельного сосуществования 
виртуальных и реальных объектов, что и привлекает внимание разработчиков к УС. Более того, 
исследования [1] показывают, что среди негативных психофизиологических последствий использования 
устройств дополненной реальности доминирует оптический дискомфорт, который возникает из-за разницы в 
восприятии реальных и виртуальных объектов в одной и той же сцене из-за отсутствия УС. Лидеры ГТ-отрасли 
рассматривают АК как следующую «большую волну» революционных изменений в цифровой электронике. 
Поэтому проблема УС становится ключевой для [Т в целом, и эти лидеры проявляют растущий интерес к 
методам ее решения [2]. Однако в аэрокосмических приложениях проблема визуальной когерентности уже 
приобрела практическое значение. Авторы столкнулись с проблемой УС при разработке системы обучения 
авиадиспетчеров: стремительный рост интенсивности воздушного движения в аэропортах привел к увеличению 
частоты столкновений самолетов с другими воздушными судами и аэродромным транспортом при наземном 
маневрировании (>50 случаев по всему миру в 2018 году до начала пандемии). Авиадиспетчеры, работающие 
на вышках аэропортов, не всегда готовы адекватно реагировать на подобные нештатные ситуации, что требует 
дополнительной подготовки. Наиболее эффективная форма такого обучения предполагает представление 
диспетчеру ситуации опасного сближения объектов на летном поле, что невозможно с реальными объектами, 
но может быть абсолютно безопасно реализовано в сценах дополненной реальности. В нашем приложении 
аварийные ситуации были безопасно смоделированы с помощью АК на реальном аэродроме, при этом 
используемые виртуальные самолеты должны быть неотличимы от реальных. 

Исчерпывающий обзор известных методов УС можно найти в статье [3]. Согласно авторской 
классификации, все методы УС можно разделить на два основных класса: с измерением параметров освещения 
и с оценкой условий освещения. В первом случае обязательной процедурой является предварительное 
измерение условий освещенности, проводимое с помощью специального оборудования. Эта процедура — 
длительный и трудоемкий процесс и не представляется возможной, если используется заранее полученное 
изображение или видео реального мира. Во втором случае сложность восстановления картины освещения по 
изображениям приводит к допущениям и ограничениям, что делает результаты неоднозначными. Поэтому, 
несмотря на впечатляющие результаты, полученные исследователями с помощью методов упомянутых в 
обзоре [3], уровень УС все еще часто недостаточен, особенно в сценах АК с реальными естественными 
ландшафтами в условиях рассеянного освещения, которые типичны для авиационных приложений. Как 
показывает приведенный ниже обзор публикаций, существует дефицит исследований такого рода. 

Цель данной работы — разработка универсального и автоматического метода, обеспечивающего прямой 
перенос характеристик цвета, яркости и контраста с реального фона на виртуальные объекты без цифрового 
ЗР-моделирования, которое необходимо в существующих подходах УС. Метод основан на математическом 
аппарате двумерных спектральных преобразований, мы назвали его «спектральной трансплантацией». 

Основными результатами данной работы являются: 

— базовая схема для метода спектральной трансплантации, который обеспечивает прямой перенос 
характеристик цвета, яркости и контраста с реального фона на виртуальные объекты. Метод предполагает 
замену части спектра изображения виртуального мира на такую же часть спектра изображения реального мира 
с последующим обратным преобразованием спектра с пересаженной частью; 

— алгоритм автоматического выбора оптимального вида спектрального преобразования для использования в 
спектральной трансплантации. 

Важно отметить, что УС зависит от многих факторов: освещения, теней, цветового тона, взаимных 
отражений, текстуры поверхности, оптических аберраций, конвергенции, аккомодации и пр. Соответственно 
используются различные техники АВ-визуализации. В нашем случае УС обеспечивается только для факторов 
общего освещения и окраски виртуальных объектов в АК. Это является одним из наиболее сложных вопросов 
УС, особенно для сцен на открытом воздухе. Поэтому для достижения полной УС спектральная 
трансплантация должна использоваться в сочетании с другими методами УС. 

Список источников в [3] включает 175 позиций; этот обзор включает практически все подходы к 
достижениям в УС (за исключением последних, основанных на нейронных сетях, рассматриваемых ниже). 
Поэтому здесь кратко опишем некоторые характерные примеры, которые соответствуют упомянутым 
основным классам. 
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Измерение условий освещения 

Используя зонд освещенности с диффузными полосами между зеркальными сферическими квадрантами, 
Дебевек и др. [4] продемонстрировали, как полный динамический цветовой диапазон сцены может быть 
восстановлен из одной экспозиции. На основе изображения, полученного с помощью зонда, интенсивность 
нескольких источников света может быть оценена путем решения простой линейной системы уравнений. 
Результаты были использованы для рендеринга виртуальной диффузной сферы. 

Альхаками и Тасерян [5] оценивают направление падающего света (прямое освещение) реальной сцены 
используя методы компьютерного зрения с помощью 360°- камеры, прикрепленной к АВ-устройству. Система 
моделирует отраженный свет от поверхностей при рендеринге виртуальных объектов. Затем определяются 
параметры теней для каждого виртуального объекта. 

Оценка условий освещения 

Кнорр и Курц [6] предложили схему оценки условий освещения в реальном мире на основе фото 
человеческого лица. Метод основан на обучении модели вида лица на основе базы данных по лицам при 
известном освещении. Авторы затем восстанавливают наиболее правдоподобные условия освещения в 
реальном мире в базисе сферических гармоник для запечатленного лица. 

Стоит упомянуть работу [7], где описана комбинация измерения и оценки освещенности. Авторы измеряют 
отражательные свойства реальных объектов, используя карты глубины и цветные изображения вращающегося 
объекта на поворотном столе с помощью В СВ-О камеры. Форма объекта реконструируется путем интеграции 
изображений глубины объекта, полученных с разных точек обзора. Отражательная способность объекта 
определяется путем оценки параметров модели отражения по восстановленным изображениям формы и цвета. 

Наиболее близкими аналогами предлагаемого метода являются подходы, которые, как и спектральная 
трансплантация не предполагают предварительных измерений освещения и моделирования условий освещения, 
геометрии сцены, отражения поверхности, а также предусматривают автоматическую обработку. 

Среди таких аналогов — методы передачи цвета от изображения к изображению. В работе [8] представлен 
способ автоматического переноса цветовой статистики (средних значений и стандартных отклонений) с 
эталонного изображения на целевое. Дополнительные параметры используются для того, чтобы избежать 
ручной обработки, которая необходима для определения особенностей передачи цвета в случаях, когда 
изображения имеют сильное различие в цветовой палитре. Эти дополнительные параметры объединяют 
дисперсии эталонного и целевого изображений. Авторы статьи утверждают, что, хотя ручное изменение этих 
параметров требуется крайне редко, тем не менее иногда это необходимо. Кроме того, статистическая природа 
метода вызывает вопросы относительно вида и объема статистики. Также неочевидна способность метода 
обрабатывать некоторые типы изображений (содержащие блестящие объекты, тени). 

Сяо и Ма [9] представили алгоритм для решения проблемы достоверности передачи цвета с точки зрения 
деталей сцены и цветов. Авторы рассматривают сохранение цветового градиента как необходимое условие 
достоверности сцены. Они формулируют проблему передачи цвета как задачу оптимизации и решают ее в два 
этапа — согласование гистограмм и оптимизация с сохранением градиента. Предложена метрика для 
объективной оценки эффективности алгоритмов передачи цвета на основе примеров. 

Преимуществами разработанного метода, по сравнению с [8, 9] и их многочисленными аналогами, являются 
его универсальность, полностью автоматический характер и возможность передачи не только цвета, но и всех 
основных характеристик изображения с помощью одной простой процедуры. 

Предложенный метод использует двумерные спектральные преобразования. Различные виды изображений 
оптимально описываются различными типами спектральных преобразований («оптимально» — в смысле 
соответствия визуального восприятия для реальных и виртуальных объектов). Среди активно используемых в 
цифровой обработке изображений со времен появления цифрового телевидения — дискретное преобразование 
Фурье, дискретное косинусное преобразование, преобразование Хадамара, 5-преобразование и преобразование 
Карунена-Лоэва. 

Материалы и методы. Схема метода спектральной трансплантации (версия, использующая преобразование 
Фурье [10]) показана на рис. 1. В качестве входных данных используются кадры реального мира (\оП4 Нате — 
\УЕ) и виртуального мира (ушаа! Нате — УЕ) (рис. 2). Это естественно для «видео» АК (когда реальный мир 
наблюдается через видеокамеру). Для «прозрачной» АК, когда реальный мир наблюдается через прозрачные 
очки, реальные изображения захватываются с помощью камер, расположенных на АЁ-очках. 
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Рис. 1. Схема метода спектральной трансплантации. 
Версия, использующая преобразование Фурье 


6) в) 
Рис. 2. Видеокадры реального мира (\/Р) и виртуального мира (УЕ): 
а — УЕ, аэропорт, облачная погода; 6 — УЕ, аэропорт, солнечная погода; в — УЕ, виртуальный самолет. \Е представляют 
собой небольшие фрагменты (<25 %) изображений, опубликованных на сайтах зудпеуапрой.сот.аи и 65ай.сот 


Целью данного метода является перенос основных характеристик изображения из \\Е в УЕ. Схема работы 
метода очень проста, хотя операции имеют большой вычислительный объем. Метод реализуется в пять 
этапов (рис. 1): 

1) Выделение цветовых (КСВ) каналов для \Е — \\Ег, \!Ее, УМЕЬ и для УЕ — УЕг, УЕю, УЕЬБ. Модель КСВ 
используется из-за ее общности и корреляции между каналами, которая специфична для этой модели. 

2) Вычисление двумерного прямого преобразования Фурье (тес Еоипег бапзФогт — ОЕТ): РЕТСОМЕ), 
РЕТС\Е»), РЕТСМЕЬ), РЕТ(УЕг), РЕТ(УЕ»), РЕТ(УЕБ). Формула РЕТ приведена ниже: 


М-—М-1 | 


1 т Ш 
Х (К.О т >, >, х,.(т‚п)ехр( 2 + м (1) 


гдес = К, С, В — индекс для красного, зеленого и синего каналов цветного изображения; М, М — номера строк 
и столбцов матрицы пикселей преобразованного изображения; К, [ — аргументы пространственной частоты; 
хе(т,п) — значение пикселя с пространственными координатами (тп) в канале с; Х‹(К,1) — комплексные числа. 

3) Этот этап является ключевым. Трансплантация низкочастотной части (1ю\-Недиепсу раг-ГЕР) 
осуществляется между парами спектров УЕ и УЕ для каждого из красного, зеленого и синего каналов. Это 
означает, что ГЕР УЕ заменяется на соответствующую ГЕР УЕ. Идея спектральной трансплантации 
основана на следующем свойстве ОЕТ: общий характер изображения (т.е. цветовой оттенок, яркость, 
контраст) зависит от пространственных частот, содержащихся в Г.ЕР (включая постоянную составляющую) 
его двумерного спектра. 
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Таким образом, пересаживая Г.ЕР УЕ в спектр УЕ, мы переносим основные характеристики изображения из 
УЕ в УЕ. Для этого удобнее использовать центрированную форму двумерного спектра, где постоянная 
составляющая находится в центре матрицы спектральных коэффициентов, а низкочастотные компоненты 
симметрично расположены вокруг постоянной составляющей. В центрированном спектре ГЕР является 
центральной частью матрицы ОЕТ, и ГЕР имеет размер М! х М (М <М, М <М№). Если М! =\М, то обозначение 
для квадратной матрицы Г.ЕР может быть Г.ЕР(012..Е), где 0 — постоянная компонента, Е — номер наибольшей 
пространственной частоты в матрице Г.Р. 

Размер ГЕР для трансплантации зависит от размера преобразованного изображения (этот размер определяет 
спектральное разрешение) и от объема характеристик изображения, которые должны быть заимствованы из 
УЕ. На данном этапе исследований размер ГЕР определяется эмпирически. Например, наилучшие визуальные 
результаты для изображений размером 512х512 пикселей были получены при использовании ГЕР (012345). 

4) Восстановление каналов КОВ для УЕ с помощью двумерного обратного преобразования Фурье (геуегзе 
Еопиег гапзотт — ВЕТ). Одновременно на этом этапе происходит смешение характеристик УЕ и УЕ. В 
результате получаются КСВ-каналы изображения УЕ с основными цветовыми, яркостными и контрастными 
характеристиками \\Е, а также с характеристиками, унаследованными от исходного УЕ. 

5) Восстановление откорректированного цвета УЕ путем слияния ВОВ-каналов, полученных на 
предыдущем этапе, вырезания виртуальных объектов и построения АК-сцены путем наложения вырезанных 
виртуальных объектов на \Е. 

Очевидно, что если этот метод используется для обработки видеопотока УЕ, то нет необходимости в 
вычислениях ПОЕТ и, соответственно, ГЕР для каждого кадра реального мира, поскольку основные 
характеристики изображения меняются только при радикальном изменении записываемой сцены. Такие 
изменения можно легко обнаружить по скачкам среднего значения пикселей. В эти моменты необходимо 
пересчитать спектральное преобразование для ГЕР. 

Поскольку различные виды изображений оптимально описываются различными видами спектральных 
преобразований упомянутыми выше, целесообразно разработать автоматический алгоритм выбора 
оптимального вида преобразования для использования в спектральной трансплантации. 

Мы предлагаем оценивать разницу между зрительным восприятием УЕ и УЕ по среднеквадратичному 


расстоянию // между ГЕР спектров мощности их изображений (для всех цветовых каналов): 
1 М, М 2 
А. = >> [В, &,1)- Ри (&,1] ‚ с=В,С,В, 
М, М, к=01=0 (2) 


где Руи Ри — двумерные спектры мощности соответственно УЕ и УЕ. Например, в случае преобразования 
Фурье, формула для Р имеет вид: 
Му то ШГ 
Р (К, = х (т‚п)ехр(-72щ(-— +—))!. 
(К, = ХУ, ( АИ м) 


т=0 п=0 


(3) 


Мы предлагаем определять оптимальный вид спектрального преобразования близостью векторов Ди 
среднего вектора, вычисленного по критерию минимальной суммы квадратов расстояний между средним 
вектором и векторами / для всех рассматриваемых преобразований. 

Пусть ДКА, АС, АВ) — нормированный вектор расстояния между спектром ГЕР5 УЕ и УЕ для 
преобразования /. Пусть а(ДаК, ДаС, АаВ) — средний вектор, а О; — расстояние между Д} и Да. Тогда сумма 5 
квадратов расстояний от векторов /; всех рассматриваемых преобразований до среднего вектора равна: 


5=Ур =УУ(А,-А,), с= В, С, В. 
о“ 1с р 


(4) 
Координаты Лав, Лас, Лав среднего вектора вычисляются как решение системы дифференциальных 


уравнении с частными производными: 
—=0 =А, С, В 5 
ОЛ ыы о. ( ) 


Выбор оптимального вида спектрального преобразования определяется условием близости: 


шшр.. 
т (6) 

Другим очевидным критерием выбора оптимального вида преобразования является длина векторов Д. 
Однако экстремумы такого критерия могут быть связаны со способностью или неспособностью определенных 
преобразований правильно обнаружить разницу между определенными видами УЕ и УЕ. Поэтому мы 
рассматриваем использование среднего вектора как более надежный способ отбора. 
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Аналогично расчету ОЕТ для УЕ, выбор оптимального вида преобразования производится только один раз 
в начале спектральной трансплантации, если только \Е не меняется резко. 

Результаты исследования. Предложенный метод был протестирован с использованием преобразования 
Фурье без выбора оптимального вида преобразования. УЕ (реальная сцена аэропорта) и УЕ (виртуальная 
модель самолета) имели размер 512х12пикселей и 24-битные цвета. Исследовали два различных условия: 

1) \Е — фото аэропорта в облачную погоду, рис. 2 а; 

2) \Е — фото аэропорта в солнечную погоду, рис. 2 6. 

В обоих случаях УЕ содержал З)-модель самолета, показанную на рис. 2 в. Протестировали трансплантации 
ГЕР(0), ГЕР(ОТ), [ЕР(012), [.ЕР(0123), ГЕР(01234), [.ЕР(012345). Некоторые результаты тестирования показаны 
на рис. 3. Наилучшие визуальные результаты были получены при использовании Г.ЕР(012345). На рис. 3 
изображения после спектральной трансплантации намеренно показаны без других эффектов УС (тени, 
освещение и т.д.), чтобы продемонстрировать чистые результаты этого метода. 


ЕР(0123) Е ЕР(012345) 
.. —_— с 


8 СЕР 


< : я . Р 7 х-я Р- Г с” . ". . ы #.. > - 
С а, 
(0123) #-— ЕР (012345) = 
6) в) 
Рис. 3. АВ-сцены без трансплантации и с трансплантацией Г.ЕР разных размеров. 


а — АВ-сцена, состоящая из УР и УЕ без трансплантации Г.ЕР; 6 — АР-сцена, после трансплантации 
Г.ЕР(0123); в — АВ-сцена после трансплантации ГЕР(012345) 


а) 


Верхний и нижний ряды на рис. 3 соответствуют противоположным условиям для УЕ: светлые и темные 
\УЕ с разными оттенками. Эксперименты с любыми другими УЕ не добавят существенно новой информации, 
поскольку будут иметь условия между теми, что уже представлены на рис. 3. 

Для демонстрации механизма спектральной трансплантации было проведено численное моделирование. На 
рис.4 показана Фурье-трансплантация с использованием небольшой (8х8) пиксельной матрицы, 
представляющей один из цветовых каналов \\Е и УЕ. Такой маленький размер матрицы позволяет наглядно 
проиллюстрировать процедуру трансплантации. В данном примере матрица \!Е может быть ассоциирована с 
изображением с вертикальной градиентной заливкой, а матрица УЕ — с изображением с горизонтальной 
градиентной заливкой. Другим отличием между УЕ и УЕ является диапазон значений пикселей: 8—15 для \Е 
(«более светлое изображение», 8 — постоянная составляющая) и 0-7 для УЕ («более темное изображение»). 
Показана трансплантация ГЕР(01"), где 1' означает часть первой пространственной частотной компоненты 
(используется из-за очень низкого разрешения матрицы 8х8). 3) вид матрицы ВФ после трансплантации 
свидетельствует о передаче свойств от УЕ к УЕ: край поверхности приподнялся, первый пиксель получил 
значение постоянной составляющей УЕ. Этот пример демонстрирует, как в результате спектральной 
трансплантации УЕ начинает приобретать вертикальный градиент и постоянную составляющую. 
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Рис. 4. Численное моделирование спектральной трансплантации для матриц 8х8 пикселей 


Спектральная трансплантация предоставляет несколько вариантов изменения параметров этой процедуры: 
изменение размера Г.ЕР; выбор отдельных компонентов спектра для трансплантации; использование различных 
коэффициентов трансплантации для разных трансплантируемых компонентов. 

На рис. 5 показан эффект трансплантации с различными параметрами для различных типов виртуальных 
объектов — виртуальных моделей самолетов, отличающихся текстурой поверхности, маркировкой и блеском. 
На рис. 5а и б изображен виртуальный самолет со сложными текстурами, текстовыми обозначениями и 
отражениями виртуальных источников света. На рис.5г‚,д и е — виртуальный самолет с простыми 
контрастными цветами. Части а и г содержат виртуальные объекты без трансплантации; б и д содержат 
виртуальные объекты после трансплантации Г.ЕР(0123); в и е содержат виртуальные объекты после 
трансплантации Г.ЕР(012345). Виртуальные объекты намеренно показаны без других эффектов УС (тени, 
освещение и т.д.), чтобы продемонстрировать чистые результаты метода. 


\ъхххь. 


Е — 


Рис. 5. Сцены с пасмурной \\Е: а, г — АК-сцены, состоящие из \!Е и УЕ без трансплантации Г.ЕР; 6, д — АР-сцены, 
составленные после трансплантации Г.ЕР(0123); в, е — АВ-сцены, составленные после трансплантации Г.ЕР(012345) 
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Важно подчеркнуть, что представленные рисунки иллюстрируют возможности настройки 
предложенного метода, а не конечный результат, поскольку он требует настройки на конкретный \Е. 
Демонстрация хорошо выполненных, но неполных результатов, как это часто практикуется в работах по 
УС, не кажется нам корректной. 

Обсуждение и заключение. Основным осложняющим фактором для описанного метода, представленного 
на рис. 1, являются высокие вычислительные затраты. Наиболее перспективным способом решения этой 
проблемы является прямое преобразование параметров ГЕР УЕ в параметры рендеринга УЕ. Это позволяет 
отказаться от громоздких процедур трех ОЕТ- и трех ВЕТ-расчетов на втором и четвертом шагах обработки и 
требует только трех расчетов \!Е ПОЕТ, по одному разу для каждого участка потока \!Е без существенного 
изменения базовых характеристик \Е. Такой подход позволяет обрабатывать поток УЕ в режиме реального 
времени. 

Другой проблемой является выбор оптимального размера ГЕР. По мере увеличения объема используемых 
пространственных частот, они начинают содержать информацию о содержимом УЕ, поэтому ограничение 
размера ГЕР необходимо для устранения эффекта гибридного изображения [11]. Сложность оптимального 
выбора обусловлена тем, что он связан как с размером Г.ЕР, так и с характером изображения. Последние 
достижения в области глубокого обучения позволяют предположить, что новым подходом, связанным с 
визуальной когерентностью посредством спектральной трансплантации, может стать использование 
генеративно-состязательных сетей (сепегануе аЧуегзайа! пебуок — САМ) для передачи реалистичной 
информации об освещении с исходного изображения на целевое изображение тем же образом, как это делают 
САМ для передачи стиля изображения В частности, было бы интересно сравнить работу САМ в случае наборов 
данных, состоящих либо из КОВ-изображений, либо из изображений, представленных в частотной области с 
помощью ПОЕТ. Мы считаем, что использование последнего подхода поможет выбрать оптимальный ГЕР. САМ 
уже широко используются в исследованиях УС [2], как и нейронные сети в целом [12]. 

В дальнейших исследованиях, связанных с темой данной работы, будут рассмотрены следующие вопросы: 

— автоматическое определение оптимального размера ГЕР для трансплантации с заданным объемом 
характеристик, заимствуемых из \!Е; 

— автоматическое определение точных моментов, когда необходимо рассчитать новую ГЕР УР для 
трансплантации при обработке видео \Е в реальном времени (как указывалось выше, это необходимо делать, 
если базовые характеристики \Е радикально меняются); 

— использование того же подхода в обратном направлении (от виртуального к реальному) для применения 
виртуального освещения к реальным сценам (как виртуальное освещение влияет на окружающую среду). 

Как полностью автоматический процесс без измерения освещения, предлагаемый метод спектральной 
трансплантации решает ряд сложных проблем УС. Например, как наилучшим образом выровнять 
характеристики цвета, яркости и контраста между реальными и виртуальными компонентами в сценах АК. Все 
эти задачи решаются посредством одной простой процедуры без моделирования условий освещения, геометрии 
АБ-сцены или ВКПЕ, что исключает неизбежные ошибки моделирования. Предложенный метод может стать 
ценным дополнением к другим инструментам УС. 
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